ByAWSTeam前言随着企业规模的扩大，业务数据的激增，我们会使用Hadoop/Spark框架来处理大量数据的ETL/聚合分析作业，⽽这些作业将需要由统一的作业调度平台去定时调度。在AmazonEMR中，可以使用AWS提供StepFunction，托管AirFlow，以及ApacheOozie或Azkaban进行作业的调用。但随着ApacheDolphinscheduler产品完善、社区日益火爆、且其本身具有简单易用、高可靠、高扩展性、⽀持丰富的使用场景、提供多租户模式等特性，越来越多的企业选择使用该产品作为任务调度的服务。DolphinScheduler可以在AmazonEMR集群中进行安

Bucket(分桶)数量设置不当带来的问题问题描述：上线运行一段时间后，随着越来越多的数据增长，集群每次重启后一周左右，读写就会开始变得越来越慢，直到无法正常进行读写。问题处理:对数仓表的Schema的分析，发现有些表数据并不大，但是Bucket却设置的非常大通过showdatafromtable命令列出所有表Bucket信息，大部分的Bucket设置不合理按照官方的建议将调整Bucket设置，调整后集群逐步恢复正常的读写关于Partition和Bucket的数量和数据量的建议一个表的Tablet总数量等于(Partitionnum*Bucketnum)数量原则：一个表的Tablet数量，在不

除了用Workerman自身的SSL，也可以利用nginx/apache作为wss代理转发给workerman我就是栽在这大坑里（nginx/apache代理wss，workerman部分就不要设置ssl，否则将无法连接，两个方法2选1）官方推荐用nginx/apache代理wss如果是微信小程序，要添加合法域名格式:wss://域名结尾不要加/，可以:端口  nginx配置参考前提条件及准备工作：1、已经安装nginx，版本不低于1.32、假设Workerman监听的是8282端口(websocket协议)3、已经申请了证书（pem/crt文件及key文件）放在了/etc/nginx/con

前言MyBatisMapper出现了nestedexceptionisorg.apache.ibatis.binding.BindingException:Parameter‘levelName’notfound.Availableparametersare[arg2,arg1,arg0,param3,param1,param2]，说明是Mapper接口方法的参数在编译的时候没有按照代码写的参数来进行。需要解决这个问题，可以从以下方面入手。MavenCompiler插件从Java1.8开始，编译的时候加上-parameters是可以将参数名保存到class文件里的，而使用ApacheMaven

目标最近想要简单了解一下ApacheKafka，故需要在本机简单打个Kafka弄一弄HelloWorld级别的步骤。高手Kafka大佬们，请忽略这里的内容。步骤ApachaKafka要求按照Javak8以上版本的环境。从官网下载kafka并解压。启动#生产kafka集群随机IDKAFKA_CLUSTER_ID="$(bin/kafka-storage.shrandom-uuid)"#设置日志目录格式bin/kafka-storage.shformat-t$KAFKA_CLUSTER_ID-cconfig/kraft/server.properties#启动kafkabin/kafka-serv

目录1.下载源码包2.配置httpd运行环境3.编译源码包安装apache软件4.优化执行路径5.添加httpd系统服务#正文1.httpd服务器的基本配置2.Linux命令行访问网站3.网站日志4.控制网站访问 5.创建用户认证数据库#构建虚拟web主机1.构建虚拟主机——基于域名2.构建虚拟主机——基于ip 3.构建虚拟主机——基于端口我的服务器为centos7系统1.下载源码包访问官方网站↓↓↓Welcome!-TheApacheHTTPServerProject↑↑↑选择  Download  你可以选择httpd-2.4.57.tar.bz2也可以选择httpd-2.4.57.tar

Hudi0.10.0集成Hive时的异常及解决方法:java.lang.ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat异常信息使用HiveCLI连接Hive3.1.2并查询对应的Hudi映射的Hive表，发现如下异常：hive(flk_hive)>select*fromstatus_h2hlimit10;22/10/2415:22:07INFOconf.HiveConf:Usingthedefaultvaluepassedinforlogid:0f8a42a6-8195-413a-90dc-a31f7

Hudi0.10.0集成Hive时的异常及解决方法:java.lang.ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat异常信息使用HiveCLI连接Hive3.1.2并查询对应的Hudi映射的Hive表，发现如下异常：hive(flk_hive)>select*fromstatus_h2hlimit10;22/10/2415:22:07INFOconf.HiveConf:Usingthedefaultvaluepassedinforlogid:0f8a42a6-8195-413a-90dc-a31f7

报错情况：产生原因：原因是新版本的log4j-core包中不包含org/apache/logging/log4j/util/ReflectionUtil这个类，在2.2版本后这个类被迁移到log4j-jcl包中。解决方法：引入新的包即可maven引入dependency>groupId>org.apache.logging.log4j/groupId>artifactId>log4j-jcl/artifactId>version>2.16.0/version>/dependency>gradle引入implementation'org.apache.logging.log4j:log4j-jc

当hive-site.xml以及mysql等都配置好时，格式化元数据库进入hive，仍然报未格式化元数据库的错hive>showdatabases;FAILED:HiveExceptionjava.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.Sesshive>showdatabases;第一种方法便是把元数据删除，重新格式化dropdatabasemetastore;schematool-initSchema-dbTypemysql第二种,便是上诉方法并未解决，看报错信息是metasto